Vùng đất này tương truyền là để chuẩn bị cho trận thuỷ chiến với quân Mông Nguyên năm 1288, Trần Hưng Đạo đã lấy nơi đây làm nơi chứa lương thảo của quân đội, đồng thời sau chiến thắng diễn ra cuộc khao thưởng quân sĩ có công trước khi kéo quân về căn cứ Vạn Kiếp

Đền được trùng tạo vào thời Tự Đức (1848 - 1883), lúc đầu là một ngôi đền nhỏ bằng tranh tre, trải qua nhiều lần tu bổ, tôn tạo, đền Phú Xá ngày nay đã trở thành một công trình kiến trúc bề thế.